MilkQA: a Dataset of Consumer Questions for the Task of Answer Selection

We introduce MilkQA, a question answering dataset from the dairy domain dedicated to the study of consumer questions. The dataset contains 2,657 pairs of questions and answers, written in the Portuguese language and originally collected by the Brazilian Agricultural Research Corporation (Embrapa). All questions were motivated by real situations and written by thousands of authors with very different backgrounds and levels of literacy, while answers were elaborated by specialists from Embrapa's customer service. Our dataset was filtered and anonymized by three human annotators. Consumer questions are a challenging kind of question that is usually employed as a form of seeking information. Although several question answering datasets are available, most of such resources are not suitable for research on answer selection models for consumer questions. We aim to fill this gap by making MilkQA publicly available. We study the behavior of four answer selection models on MilkQA: two baseline models and two convolutional neural network archictetures. Our results show that MilkQA poses real challenges to computational models, particularly due to linguistic characteristics of its questions and to their unusually longer lengths. Only one of the experimented models gives reasonable results, at the cost of high computational requirements.Comment: 6 page

Como incrementar a qualidade dos resultados das máquinas de busca: da análise de logs à interação em português

Com o intuito de avaliar a submissão de consultas em língua natural, especificamente em português, a máquinas de busca na Web, e contrastar com as consultas por palavras-chave, realizou-se um experimento com alunos, professores e funcionários de uma universidade brasileira. Particularmente, analisaram-se as consultas para verificar se os usuários expressavam bem seus objetivos em palavras-chave; como expressariam seus objetivos em língua natural, caso esta possibilidade fosse oferecida; se as consultas em língua natural forneciam informações que pudessem facilitar a recuperação de informação. O pedido de colaboração foi enviado a 440 pessoas de um instituto de computação da universidade. Foram obtidas 63 consultas, correspondentes a 42 objetivos. Observou-se que, para o item a, na maioria dos casos (71,43%), as consultas por meio de palavras-chave não trazem todas as informações declaradas importantes no objetivo; para o item b as consultas foram feitas por meio de perguntas (71,87%), afirmações (18,75%) e ordens (9,37%); e, para o item c todas as perguntas diretas deixavam claro o objetivo da consulta já com a primeira palavra da frase, ou com as duas ou três primeiras, com exceção das iniciadas pela palavra "qual"

O que é e como se constrói um corpus? Lições aprendidas na compilação de vários corpora para pesquisa linguística

As pesquisas baseadas em corpus têm tido na última década um amplo desenvolvimento no contexto brasileiro. Nota-se a sua relevância e pertinência nos domínios da Lingüística, da Lingüística Aplicada e da Lingüística Computacional. Em vista disso, uma abordagem surge para sistematizar procedimentos e dar conta desse novo modo de fazer pesquisa. Essa abordagem é a Lingüística de Corpus que, auxiliada pelo desenvolvimento de ferramentas computacionais específicas para o tratamento do português brasileiro, pode alcançar um grande desenvolvimento no Brasil. Entretanto, muito do que já se obteve de desenvolvimento em Lingüística de Corpus no cenário internacional não se reflete em muitas das pesquisas realizadas no Brasil, uma vez que as práticas mundialmente aceitas ainda não estão aqui sedimentadas, a despeito de haver no país eminentes pesquisadores que desenvolvem extraordinários projetos baseados em corpus. Assim, este artigo tem o propósito de discorrer sobre a concepção de corpus, os requisitos e procedimentos para a sua elaboração, os corpora e ferramentas existentes e disponíveis e, finalmente, apresentar quatro projetos envolvendo corpus cuja descrição e detalhamento pode auxiliar outros pesquisadores nessa tarefa. Palavras-chave: corpus; lingüística de corpus; processamento de corpus